我们通过求解立体声匹配对应关系来解决注册同步颜色(RGB)和多光谱(MS)图像的问题。目的是,我们引入了一个新颖的RGB-MS数据集,在室内环境中框架13个不同的场景,并提供了34个图像对,并以差距图的形式带有半密度的高分辨率高分辨率地面标签。为了解决这项任务,我们提出了一个深度学习架构,通过利用进一步的RGB摄像机来以自我监督的方式进行培训,这仅在培训数据获取过程中需要。在此设置中,我们可以通过将知识从更轻松的RGB-RGB匹配任务中提炼出基于大约11K未标记的图像三重列表的集合来使知识从更轻松的RGB-RGB匹配任务中提取知识,从而方便地学习跨模式匹配。实验表明,提议的管道为这项小说,具有挑战性的任务进行了未来的研究,为未来的研究设定了良好的性能栏(1.16像素的平均注册错误)。
translated by 谷歌翻译